W następnych latach różni okoliczni książęta najeżdżali na zamek nie czyniąc w nim większych zniszczeń poza rabunkami wyposażenia. Około połowy XV wieku zamek rozbudowano otaczając drugim obwodem murów. Przy narożnikach stanęły dwie czworoboczne wieże mieszkalne.
W 1492 roku podczas kolejnego najazdu i pożarze zamek został zniszczony i 30 lat później odbudowany. Obecny wygląd zamek otrzymał w 1652 roku po przebudowie ówczesnego właściciela Macieja Łubieńskiego.
Zniszczenia podczas wojen szwedzkich na początku XVIII wieku nie zmieniły bryły zamku, ale zamek został częściowo opuszczony po sekularyzacji dóbr kościelnych przejętych przez państwo pruskie. W 1836 roku otrzymał go generał Aleksander Toll. Podczas remontu zachowano ogólny kształt założenia, jednak murom zamkowym nadano cechy klasycystyczne, jedynie okrągła wieża zachowała oryginalny gotycki wygląd.
Po pierwszej wojnie światowej w zamku urządzono pensjonat. Druga wojna pozostawiła po sobie ogromne zniszczenia, jednak w latach 1956-1967 założenie całkowicie odbudowano i urządzono w nim hotel, który mieści się tu do dziś.